机器学习（ML）算法在帮助不同学科和机构的科学社区解决大型和多样化的数据问题方面表现出了增长的趋势。但是，许多可用的ML工具在编程方面要求且计算成本高昂。 MlexChange项目旨在建立一个配备有能力工具的协作平台，该平台使科学家和设施使用者没有深刻的ML背景来使用ML和计算资源进行科学发现。在高水平上，我们针对完整的用户体验，在该体验中，可以通过Web应用程序可以轻松获得管理和交换ML算法，工作流和数据。到目前为止，我们已经构建了四个主要组件，即中央职位管理器，集中式内容注册表，用户门户和搜索引擎，并成功地将这些组件部署到了测试服务器上。由于每个组件都是一个独立的容器，因此可以轻松地在不同尺度的服务器上部署整个平台或其个人服务，从笔记本电脑（通常是单个用户）到高性能群集（HPC）（同时）通过许多用户。因此，MlexChange使用方案使灵活性变得灵活 - 用户可以从远程服务器访问服务和资源，也可以在其本地网络中运行整个平台或其个人服务。

在本文中，我们将针对基于文本的描述的任意类别执行全新的计算机视觉任务，开放式全磁全面分割，该任务旨在执行全景分段（背景语义标签 +前景实例分段）。我们首先构建了一种基线方法，而无需填充或蒸馏以利用现有夹模型中的知识。然后，我们开发了一种新方法MaskClip，该方法是一种基于变压器的方法，该方法使用带有基于VIT的夹子主链的掩码查询来执行语义分割和对象实例分割。在这里，我们设计了一个相对的掩码注意力（RMA）模块，以将分割作为VIT夹模型的其他令牌。 MaskClip通过避免使用外部剪贴图像模型的暂停操作来裁剪图像贴片和计算功能，从而有效地有效地利用预训练的密集/局部剪辑功能。我们为开放式综合综合分割和最先进的结果获得了令人鼓舞的结果。我们显示具有自定义类别的MaskClip的定性插图。

我们研究视觉变压器（VIT）的半监督学习（SSL），尽管VIT架构广泛采用了不同的任务，但视觉变形金刚（VIT）还是一个不足的主题。为了解决这个问题，我们提出了一条新的SSL管道，该管道由第一个联合国/自制的预训练组成，然后是监督的微调，最后是半监督的微调。在半监督的微调阶段，我们采用指数的移动平均线（EMA） - 教师框架，而不是流行的FixMatch，因为前者更稳定，并且为半手不见的视觉变压器提供了更高的准确性。此外，我们提出了一种概率的伪混合机制来插入未标记的样品及其伪标签以改善正则化，这对于训练电感偏差较弱的训练VIT很重要。我们所提出的方法被称为半vit，比半监督分类设置中的CNN对应物获得可比性或更好的性能。半vit还享受VIT的可伸缩性优势，可以很容易地扩展到具有越来越高的精度的大型模型。例如，半效率总数仅使用1％标签在Imagenet上获得令人印象深刻的80％TOP-1精度，使用100％ImageNet标签与Inception-V4相当。

通过使用预训练模型的转移学习已成为机器学习社区的增长趋势。因此，在线发布了许多预培训模型，以促进进一步的研究。但是，它引起了人们对这些预训练模型是否会泄露其培训数据的隐私敏感信息的广泛担忧。因此，在这项工作中，我们的目标是回答以下问题：“我们可以有效地从这些预训练的模型中恢复私人信息吗？检索这种敏感信息的足够条件是什么？”我们首先探索不同的统计信息，这些信息可以将私人培训分布与其他分布区分开。根据我们的观察，我们提出了一个新颖的私人数据重建框架Secretgen，以有效地恢复私人信息。与以前可以恢复私人数据的方法与目标恢复实例的真实预测相比，SecretGen不需要此类先验知识，从而使其更加实用。我们在各种情况下对不同数据集进行了广泛的实验，以将Secretgen与其他基线进行比较，并提供系统的基准，以更好地了解不同的辅助信息和优化操作的影响。我们表明，如果没有关于真实班级预测的先验知识，SecretGen能够与利用此类先验知识的私人数据相比恢复具有相似性能的私人数据。如果给出了先验知识，SecretGen将显着优于基线方法。我们还提出了几个定量指标，以进一步量化预培训模型的隐私脆弱性，这将有助于对对隐私敏感应用程序的模型选择。我们的代码可在以下网址提供：https：//github.com/ai-secure/secretgen。

我们呈现了对比邻域对准（CNA），一种歧管学习方法来维持学习特征的拓扑，由此映射到源（教师）模型的附近表示的数据点也被目标（学生）模型映射到邻居。目标模型旨在模拟使用对比损耗来模拟源代表空间的局部结构。CNA是一种无人监督的学习算法，不需要对各个样本的地面真理标签。CNA在三种情况下示出：歧管学习，其中模型在尺寸减小空间中保持原始数据的本地拓扑;模型蒸馏，其中小学生模型培训以模仿更大的老师;和遗留模型更新，其中旧模型被更强大的更强大的型号。实验表明，CNA能够在高维空间中捕获歧管，并与其域中的竞争方法相比提高性能。

执行单个图像整体理解和3D重建是计算机视觉中的核心任务。本文介绍了从单个RGB图像的室内和室外场景执行整体图像分段，对象检测，实例分段，深度估计和对象实例3D重建。我们命名我们的系统Panoptic 3D解析，其中Panoptic Segsation（“填写”分割和“检测/分割”的“检测/分割”。我们设计了一个舞台明智的系统，其中不存在一整套注释。此外，我们介绍了一个端到端的管道，在合成数据集上培训，具有全套注释。我们在室内（3D-Flact）和户外（可可和城市）的场景上显示结果。我们提出的Panoptic 3D解析框架指向计算机愿景中有希望的方向。它可以应用于各种应用，包括自主驾驶，映射，机器人，设计，计算机图形学，机器人，人机互动和增强现实。

生成模型的面部匿名化已经变得越来越普遍，因为它们通过生成虚拟面部图像来消毒私人信息，从而确保隐私和图像实用程序。在删除或保护原始身份后，通常无法识别此类虚拟面部图像。在本文中，我们将生成可识别的虚拟面部图像的问题形式化和解决。我们的虚拟脸部图像在视觉上与原始图像不同，以保护隐私保护。此外，它们具有新的虚拟身份，可直接用于面部识别。我们建议可识别的虚拟面部发电机（IVFG）生成虚拟面部图像。 IVFG根据用户特定的键将原始面部图像的潜在矢量投射到虚拟图像中，该键基于该图像生成虚拟面部图像。为了使虚拟面部图像可识别，我们提出了一个多任务学习目标以及一个三联生的培训策略，以学习IVFG。我们使用不同面部图像数据集上的不同面部识别器评估虚拟面部图像的性能，所有这些都证明了IVFG在生成可识别的虚拟面部图像中的有效性。

Despite the steady progress in video analysis led by the adoption of convolutional neural networks (CNNs), the relative improvement has been less drastic as that in 2D static image classification. Three main challenges exist including spatial (image) feature representation, temporal information representation, and model/computation complexity. It was recently shown by Carreira and Zisserman that 3D CNNs, inflated from 2D networks and pretrained on Ima-geNet, could be a promising way for spatial and temporal representation learning. However, as for model/computation complexity, 3D CNNs are much more expensive than 2D CNNs and prone to overfit. We seek a balance between speed and accuracy by building an effective and efficient video classification system through systematic exploration of critical network design choices. In particular, we show that it is possible to replace many of the 3D convolutions by low-cost 2D convolutions. Rather surprisingly, best result (in both speed and accuracy) is achieved when replacing the 3D convolutions at the bottom of the network, suggesting that temporal representation learning on high-level "semantic" features is more useful. Our conclusion generalizes to datasets with very different properties. When combined with several other cost-effective designs including separable spatial/temporal convolution and feature gating, our system results in an effective video classification system that that produces very competitive results on several action classification benchmarks (Kinetics, Something-something, UCF101 and HMDB), as well as two action detection (localization) benchmarks (JHMDB and UCF101-24).

We present a simple, highly modularized network architecture for image classification. Our network is constructed by repeating a building block that aggregates a set of transformations with the same topology. Our simple design results in a homogeneous, multi-branch architecture that has only a few hyper-parameters to set. This strategy exposes a new dimension, which we call "cardinality" (the size of the set of transformations), as an essential factor in addition to the dimensions of depth and width. On the ImageNet-1K dataset, we empirically show that even under the restricted condition of maintaining complexity, increasing cardinality is able to improve classification accuracy. Moreover, increasing cardinality is more effective than going deeper or wider when we increase the capacity. Our models, named ResNeXt, are the foundations of our entry to the ILSVRC 2016 classification task in which we secured 2nd place. We further investigate ResNeXt on an ImageNet-5K set and the COCO detection set, also showing better results than its ResNet counterpart. The code and models are publicly available online 1 .

Recent progress on salient object detection is substantial, benefiting mostly from the explosive development of Convolutional Neural Networks (CNNs). Semantic segmentation and salient object detection algorithms developed lately have been mostly based on Fully Convolutional Neural Networks (FCNs). There is still a large room for improvement over the generic FCN models that do not explicitly deal with the scale-space problem. Holistically-Nested Edge Detector (HED) provides a skip-layer structure with deep supervision for edge and boundary detection, but the performance gain of HED on saliency detection is not obvious. In this paper, we propose a new salient object detection method by introducing short connections to the skip-layer structures within the HED architecture. Our framework takes full advantage of multi-level and multi-scale features extracted from FCNs, providing more advanced representations at each layer, a property that is critically needed to perform segment detection. Our method produces state-of-theart results on 5 widely tested salient object detection benchmarks, with advantages in terms of efficiency (0.08 seconds per image), effectiveness, and simplicity over the existing algorithms. Beyond that, we conduct an exhaustive analysis on the role of training data on performance. Our experimental results provide a more reasonable and powerful training set for future research and fair comparisons.